非对称跨 LLM 上下文迁移：KV 缓存跨模型复用
🧭 LLM 异构部署 · KV cache 跨模型迁移
Tsinghua University, Beijing, China
提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能
📌 工作参考价值（4 点）
- 在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
- 借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
- Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
- 工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。
需要时才看：基于证书引导的视觉路由实现高效扩散视觉语言模型
🧭 扩散视觉语言模型高效解码
KAIST · AITRICS
提出 LOWN 解码方法，每步自适应决定是否处理图像，平均省 65% 解码 FLOPs 而保留 99.6% 分数
📌 工作参考价值（4 点）
- 多模态 LLM 在商品图像理解、广告文案生成等场景中，视觉 token 占输入 90% 以上，且不是每一步都需要细看图像。可借鉴 LOWN 的路由思想：先用无图像轻量预测，只有与历史图像条件预测产生分歧时才重新处理图像，避免重复编码视觉特征。
- 工程实现上，LOWN 无需训练、无需调阈值，可以直接插入现有扩散解码流程，适合快速验证收益。结合 KV cache 和视觉 token pruning 可进一步降低在线推理成本。
- 在电商搜索推荐 Agent 中，多模态状态下视觉内容不是每个 reasoning step 都要消费。可设计类似的“证书”机制，复用之前的视觉理解结果，只在置信度下降时触发视觉重算，降低长程任务推理延迟。
- 该方法证明了自适应路由比固定 schedule 更有效，因为不同输入对视觉依赖差异很大。业务上可对商品主图、详情图、视频帧按需求动态分配算力，而不是一刀切缩图或抽帧。
面向智能体的 Cache Engineering：直接操控 KV Cache 以降低长程 Agent 成本
🧭 Agent 长程执行 KV cache 直接操控与 serving 优化 ★ 深度解读
Tsinghua University · The Chinese University of Hong Kong
提出 cache engineering 让 Agent 通过 drop/repos 直接控制 KV cache，无需改轨迹或重算；AKV 服务系统实现 27.7% 成本下降与 1.51x P95 延迟加速
📌 工作参考价值（4 点）
- 在长程搜索/推荐 Agent 中，不要等上下文阈值触发全量 summary/trim；按消息角色和 recency 做 rolling drop 更划算。具体：保留所有 reasoning 与最近 N 轮 tool response 的 KV cache，丢弃更早的 tool response（如搜索结果、商品列表），可同时降低 cost 并维持甚至提升精度。该策略已在 BCP/SWE 等 benchmark 上比 48K/96K summarization 平均成本降 21.9–27.7%，且分数更高。
- 将 cache 操作从文本编辑中解耦：在 agent 网关中实现 stateless 接口，业务侧只需传完整 messages 和 drop/reposition 指令，由服务端维护物理 cache 状态；这样不会破坏并发请求间的 cache 重用与隔离，也便于恢复被驱逐状态。可直接参考 AKV 的 extended radix tree + drop-aware eviction + segment-batch attention 设计，在内部推理服务上提供类似能力，降低 P95 延迟。
- 把“缓存管理”作为 tool 暴露给 LLM，或在固定策略上用 recursive self-improvement 自动调参，可替代专家手工设计。对电商场景，可以让 Agent 根据查询意图、候选商品相关性自主丢弃旧工具返回，平衡信息保留与成本；RSI 在论文中进一步比专家策略降本 7.1%。
- 注意位置编码：长会话中即使 active token 减少，RoPE 绝对位置仍会耗尽；引入 repos 重置位置编码（旋转 key）可继续探索，不建议直接牺牲上下文信息。这一点对多轮搜索、翻页、跨页比较场景尤其重要。
当 KV Cache 慢于 GPU：面向上下文并行预填充扩展远程 KV 层
🧭 LLM serving · 远程 KV 层性能优化
Multiverse Computing
用成本模型解释远程 KV 命中何时不如重算，并通过分片、按 rank 分区和异步加载把 p99 从 83.32s 降至 0.67s
📌 工作参考价值（4 点）
- 部署远程 KV cache 前先用成本模型估算：带宽需超过 sR（本例 2.53 GB/s），且存在固定 per-hit 开销 T0≈0.33s，短于 ~17k token 的 prompt 命中根本不如 recompute；电商/Agent 的 long-context 服务中可用于决定启用远程缓存的阈值。
- 远程 KV 层按 PCP rank 分片、一个 server per rank 无协调，能将 GET 带宽提升 6.3 倍；可复用该思路给多卡并行推理服务，避免所有 rank 读写同一实例导致瓶颈。
- 将远程 KV 加载改为异步，能避免同步加载造成 GPU 空转、队列不稳；实测 p99 从 83.32s 降到 0.67s，对实时推荐/搜索的 LLM 在线服务很有参考价值。
- 修复客户端 bug 对稳定性影响大；如果接入 LMCache 等库，注意 unbounded stall 问题，及时同步 upstream 补丁。
首达注意力机制（First Passage Attention）
🧭 注意力机制 · 选择性上下文擦除
University of Bergen
用路径极值替代累加衰减，实现选择性上下文擦除并压缩 KV cache 到 25% 仍保持长程检索
📌 工作参考价值（4 点）
- 长序列用户行为建模：FPA 的“路径极值”允许选择性擦除中间事件（如误触、临时会话）而保留早期长期偏好，适合电商用户序列编码。
- 多轮 Agent/对话上下文管理：可借鉴其栈式存活 key 机制，在 RAG 长对话中自动丢弃已撤销指令或中间推理，降低噪声并压缩 KV cache。
- 工程优化：FPA 在约 25% KV cache 压缩下保持 8 倍训练长度 passkey 检索，可直接用于长上下文推理降本，对搜索推荐 LLM 服务有实用价值。
- 可尝试将 FPA 头部作为用户序列编码器，替代 additive forget gate，提高对层级事件（加入/删除购物车、订单状态变更）的敏感度。
混合推理智能体：隐空间思考与文本工具调用统一
🧭 混合潜在推理与工具调用的 LLM Agent ★ 深度解读
Stanford University · Together AI · UIUC · Meta
HybridAgent 用轻量 HybridLink 与连续工作记忆交替进行潜在推理和文本工具调用，在 11 个基准上平均提升 10.4% 并大幅降低 token、延迟与成本
📌 工作参考价值（5 点）
- 在搜索/推荐 Agent 中，把长 CoT 的中间推理压缩为 latent steps，仅在需要调用搜索 API、商品过滤工具时切回 text，可大幅降低 token 费用和首字延迟；适用于高并发在线服务。
- 复用 KV cache 作为跨轮工作记忆：多轮搜索/推荐对话中保持工具结果和内部表示，避免重复编码；可参考其 persistent KV accumulation 设计来优化多轮 Agent 服务。
- 后训练要解决 train-inference mismatch：先用 teacher forcing 再 self-conditioned 两遍训练，是让模型学会消费自己 latent 输出的关键；如果业务中做类似隐式状态，这个 trick 值得照搬。
- RL 奖励只给 correctness + format + tool use，不显式控制 latent/text 比例，让模型自适应分配；在电商 Agent 中可避免奖励设计过度约束导致行为退化。
- 可解释性：latent pseudo-text 映射到最近 token，方便监控和 debug；适合需要审计的推荐理由生成/搜索排序 Agent，可保留可解释性同时降本。
FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
排练一切，记住无物：Attic-KV 只排练将被读取的内容
🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读
Nanyang Technological University
提出训练无关的 Attic-KV 排练策略，以自生成 QA 与内容自适应锚点取代全文重读，大幅提升极限压缩下的长上下文问答与缓存复用
📌 工作参考价值（4 点）
- 电商商品详情、文档库做预计算 KV 缓存时，可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal，再做 3-5% 预算的 KV 淘汰；比全文重读更能保住属性、价格、政策等答案片段，且 5% keep ratio 可把缓存容量放大 20 倍。
- 选择 rehearsal 长度不要固定比例，按内容稠密自适应：锚点数量=目标 keep ratio，再扩展到包含锚点的句子长度；商品参数表、FAQ、规格列表会被排练更多，营销 prose 少排练，避免预算浪费。
- 可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal，不改变 scoring、不重训；适合已有推理加速链路的团队，先用 KV2+Attic 低成本验证，再决定是否引入 restore tokens。
- 自生成 QA 放在离线/一次性路径，每个商品或文档只生成 6 个 Q&A（≤256 tokens），压缩耗时反而低于全文重读；适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。
VFold：对称性感知的跨层 Value Cache 压缩
🧭 LLM 推理 KV cache 压缩
Johns Hopkins University · George Mason University
利用 value cache 跨层对称性做无损合并，不改模型结构，可与量化/剪枝组合进一步压缩
📌 工作参考价值（4 点）
- 适合长上下文 Agent/RAG/LLM 排序服务：在不改模型结构、不重新训练的前提下，于 decode 前对 value cache 做跨层对称合并，可直接降低显存占用，线上可插拔。
- 可与 KV cache 量化或 key cache pruning 组合：先做 VFold 式 value 合并，再做高压缩比量化/剪枝，能在 memory 受限条件下换更大 batch 或更长上下文；需用 LongBench/RULER/多轮工具调用等业务指标回归。
- 工程实现上只需读取 value cache 并做轻量融合/索引，对注意力结构无侵入，适合已经冻结模型参数的线上推理框架（如 vLLM、TensorRT-LLM）外挂使用。
- 可离线检测各层 value 表示的余弦相似度/CKA，定位高冗余层，再决定合并范围；若用 LLM 做序列推荐或用户行为编码，类似跨层冗余也可能存在，值得做一次成本极低的探测。
一个模型循环所有层：语言模型的弹性潜在循环
🧭 LLM 弹性深度与循环推理降本 ★ 深度解读
NVIDIA
通过 adaptive-delta 更新与 rank override 混合深度训练，循环 LLM 在 1 loop 不损精度并随 loop 增长持续提分
📌 工作参考价值（5 点）
- 单模型多档线上服务：ELR 提供一个 checkpoint 通过 loop count 旋钮控制精度/延迟，可替代为不同 latency tier 维护多个模型；在电商搜索、广告文案生成、Agent 长 rollout 等场景可直接按流量层级切换 1-4 loop，无需重训或增加参数。
- 低成本接入循环 LLM：延迟混合深度训练只在最后 25% token 开启，训练 FLOPs 仅约 +16%；已有非循环模型可通过 continuation 方式获得弹性深度，比从头训练循环模型更划算。
- MoE 推理优化技巧：cross-loop route replay 复用首 loop 专家路由，训练 update time 降低 11.7%，推理 forward 降低 1.2% 且精度几乎不变；对于电商大规模 MoE 模型，这是降低反复 router 计算的直接可抄方案。
- KV cache 与生成成本：last-loop KV caching 让 attention KV 显存保持 1-loop 水平，同时保留大部分深度收益；高 loop 还会缩短生成 tokens，适合长上下文 Agent/多轮对话降低显存与耗时。
- 避免 one-loop tax 的关键：必须用 adaptive-delta 更新和 within-step rank override 混合 1-loop 与多 loop 梯度；纯 synchronized sampling 或加权采样无法保住 1-loop 精度，做循环化改造时要避免直接沿用 Huginn 式训练。
AI 的真实长期记忆：5000 万 token 窗口，比重算更快更省
🧭 LLM 推理 · KV 卸载长期记忆 ★ 深度解读
Corbenic AI
将 KV state 加密落盘并按需恢复，实现 50M token 零重算长期记忆，恢复比重算快 2.8–4.3 倍、省 8.8–12.3 倍 GPU 能耗
📌 工作参考价值（4 点）
- 在电商/广告/推荐 Agent 中，若大量 prompt 反复包含同一用户历史、商品序列或政策知识，可把已处理 prefix 的 KV 状态落盘复用，而不是每次 RAG re-read：单 block 恢复比重算快 2.8–4.3×，能耗降 8.8–12.3×，且 TTFT 不随历史深度增长，适合长 session 个性化。
- 对含敏感 PII 的长期用户记忆，可用 AES-256-GCM 加密 KV store 作为组织级 durable memory；字节精确恢复避免文本重读和潜在泄露，同时小模型/大模型共享同一存储，日常请求用小模型，复杂问题用大模型读取同一个 memory。
- 评测长期上下文时，采用盲摄入 + needle/decoys + negative control + 存储审计的防作弊协议，避免仅靠前缀缓存命中或 keyword match 假阳性；业务侧做 A/B 时可借鉴分离「状态恢复命中率」和「模型回答准确率」两个指标。
- 注意：方案依赖 local NVMe 和 sliding-window attention 的低 KV footprint（Gemma 4 12B 仅 36.4 KiB/token），对 full-attention 模型需评估存储成本；当前只做单块 restore，不扩大单次 attention 窗口，也不做 learned retrieval。
循环模型的不动点重思考：训练与推理高效捷径
🧭 循环 Transformer 固定点训练/推理加速 ★ 深度解读
Institute of Foundation Models · USC · CMU
从不动点视角重构循环 LLM，以学习深度先验和正交注入支撑终端 KV 共享、蒸馏预填充与 RL 状态复用
📌 工作参考价值（4 点）
- 若使用循环/looped 模型做 latent reasoning 或深度重排，解码时采用 terminal KV sharing，只保留终点 KV；前提是训练深度先验必须覆盖深层并让状态接近不动点，固定深度训练会在共享后大幅掉点（论文中 GSM8K 从 50.6 掉到 21.2）。可作为 KV cache 降本 3× 的工程方案。
- 把固定深度/固定 PLN 先验换成可学习 categorical depth prior：以 inverse perplexity 为 reward，用 PopArt 归一化 advantage，并用 entropy 系数平衡深度多样性、用 mean penalty 控制平均计算预算；可直接用于 query 改写/Agent 自修正动态分配迭代步数。
- 输入注入时采用 OrthoInj：将 carryover 状态先投影到输入向量的正交补，再加输入；可避免状态沿输入分量抵消注入，提升训练稳定性和 PPL，代码上只是一行投影。
- RL 后训练（如 GRPO）对循环策略打分时，复用 rollout 保存的终点状态，在单次 forward 记录的计算图上循环 backward 计算 Neumann 梯度，scoring+backward 时间约减半，避免 trajectory 重放。
KV²：一种自精炼 KV 缓存压缩方法
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
Karlsruhe Institute of Technology
用轻量代理选少量锚点做选择性重建，在 2% KV 预算下大幅优于 KVzip 等基线
📌 工作参考价值（4 点）
- 对 Agent 长期记忆、用户历史、商品知识库等“一次缓存、多次 query”场景，优先用 query-agnostic 压缩；KV² 两阶段思路可复制：先用便宜业务信号（如 key 相似度、商品/行为 embedding）挑锚点，再做局部 max-attention 打分，比全量重建省钱。
- 可将 KV 预算压到 2%–5%，适合电商搜索/推荐的超长上下文（长用户序列、多商品文档），降低缓存显存和 decode 带宽；chunk size 4K 是性价比甜点。
- 默认单轮即可，别急着上多轮 self-refinement；只有在 proxy 很弱或 reconstruction 比例极小时才考虑 2–3 轮。
- 落地注意：论文基于 kvpress 的 masking 实现未物理 compact，需配合 headwise 变长 attention、paged cache 和重复 query 服务后端，才能把压缩阶段收益转成实际 decode 收益。
绕过计算上限：Galahad 字节精确记忆使 LLM 阅读成为一次性成本
🧭 LLM 推理优化 · KV cache 复用
Corbenic AI
Galahad 为 vLLM/SGLang/llama.cpp 提供字节精确 KV 记忆层，将重复文档阅读变成一次性成本
📌 工作参考价值（4 点）
- 搜广推场景中大量 prompt 前缀重复（商品描述、用户历史、知识库、广告素材），可对固定上下文离线预计算 KV 并持久化，在线按需加载，避免每次重算；字节精确匹配 + fail-closed 机制保证缓存不会改变答案，适合线上一致性要求高的场景。
- 对长上下文任务（如用户长期行为序列、商品详情问答），可结合检索式片段注入：Blaise 只把必要片段送入模型，比全量投喂或纯 RAG 更省 token、更准；实验里 100/100 vs 调优 RAGFlow 的 77/100。
- 工程实现上，分段缓存与恢复要校验 bit-identical，避免因缓存错误影响线上 A/B 或模型输出；如果加载校验不过则回退重算，可作为推理网关的通用设计。
- 成本收益可量化：缓存构建的能耗在少量请求后即可收回，适合高频重复查询的电商知识库、活动规则问答、客服机器人等场景。
学习功能子空间实现神经网络压缩
🧭 低秩压缩 · 功能子空间学习 ★ 深度解读
Helmholtz Munich · Technical University of Munich · Télécom Paris · Columbia University · New York University
用端到端学习的正交投影子空间替代逐层闭式低秩截断，显著提升LLM/ViT高压缩比下的精度与推理效率
📌 工作参考价值（4 点）
- 在电商/广告/搜索的LLM部署中，可用LSP对底座或领域模型做低秩压缩：用线上日志、商品语料或搜索曝光文本作为校准集，冻结原权重、以KL蒸馏学习要删的子空间，比SVD/剪枝更适合极限压缩。
- 直接复用「按输出KL边际成本分配rank」：Q/K/V往往比MLP更可压，注意力层可更激进地降秩；避免均匀分配浪费参数，分配阶段无需梯度，便于工程落地。
- 借鉴tied projector共享Q/K/V输入因子：KV cache只存一个窄潜在向量，可显著降低长上下文用户序列、Agent记忆或会话历史的显存占用；配合Palu/MLA类实现效果明显。
- 训练后合并为标准低秩矩阵，无额外算子，容易接入TensorRT/vLLM等推理框架；warm-up、direction dropout和正交惩罚等技巧可直接迁移到自研压缩流程。
SANTA++：通过代表性键采样注意力以减少 KV 读取
🧭 LLM 长上下文推理 · 稀疏注意力采样 ★ 深度解读
University of California, Santa Barbara · Flucta
训练自由随机注意力方法，用代表性键路由团队采样，以 16%-22% KV 读取保留 94%-99% 精度
📌 工作参考价值（4 点）
- 在需要长上下文 LLM 推理（如用户长期行为序列、商品详情、多轮对话历史）的服务中，采用“代表性键 + 团队采样”做 decode 期稀疏 attention，可在 KV 读取降到 16%-25% 时仍保留接近 dense 的精度，适合降低在线推理成本。
- prefill 后一次性用 k-means 或 contiguous 分块构建 parent groups，再在每个 parent 内选 actual-key representatives（首点最近均值，后续逐次最远点），decode 阶段固定复用；避免逐 token 全量扫描，尤其在 batch-one 长序列下成本低。
- GQA 架构下，多个 query head 共享 KV head 的团队划分与代表键读取，但各 head 独立采样并保留自己的 inclusion correction，可进一步提升吞吐；与 MLA 等压缩 KV 表示互补，已在 DeepSeek-V2-Lite 上验证仍有 token 稀疏性。
- 实际部署注意：contiguous 分块可省去 k-means 预处理，虽然某些任务略降精度但访问更低；预算 S 是团队数而非 token 数，需要按团队大小和头间重叠重新估算实际 KV 读取。
ActKV：面向智能体LLM推理的动作引导KV缓存管理
🧭 Agent KV缓存压缩与推理优化
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存
📌 工作参考价值（4 点）
- 动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
- 置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
- 页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
- 评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。
评估 KV 缓存重用技术的准确性
🧭 LLM 推理评测与 KV cache 复用
Huawei Technologies Ltd. · Department of Computer Science, ETH Zurich
指出当前 KV 缓存重用评测方法高估效果，提出无歧义精度损失评测法并推出 Boxoffice 生成挑战性数据集
📌 工作参考价值（4 点）
- 若业务中用 RAG 为推荐/广告/搜索文案提供上下文，评估 KV cache 复用方案时必须把「复用带来的精度损失」与「检索质量/模型生成质量」分开测，否则会高估技术收益，建议设置隔离变量实验。
- 位置无关 KV cache 复用比 prefix caching 更灵活，但跨 chunk attention 缺失是主要精度损失来源；落地前应重点验证恢复跨 chunk attention 的 token 数量与位置对下游任务（如用户意图识别、商品描述生成）的实际影响。
- 借鉴 Boxoffice 的程序化生成评测集思路：构造具有不同 chunk 重复频率、乱序、跨 chunk 依赖的查询，模拟真实 RAG 中重叠/交错上下文，提前暴露复用策略在长尾模式下的退化。
- 若在 Agent 多步检索生成中启用 KV cache 复用降低 prefill 延迟，需要同时监控端到端业务指标（如点击率、转化率），因为微小的 token 级精度损失可能在业务链路上被放大。
日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存
🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读
University of Illinois Chicago
提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优
📌 工作参考价值（4 点）
- 对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
- 架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
- 推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
- 分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。
风险受控的 KV Cache 淘汰：从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制，用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值（4 点）
- 在电商/广告线上长上下文 LLM 服务（商品详情问答、评论总结、Agent 长时记忆）中，用风险预算替代平均精度来选择 KV cache 压缩策略：按业务可容忍的退化概率（如 5%）和置信度进行校准，只上线被认证的策略，避免长尾请求质量事故。
- 引入全 KV fallback 机制：当校准集上没有任何压缩策略通过风险认证（例如高难度长上下文任务），自动回退到不压缩，保障最坏情况体验，可作为线上安全网。
- 离线评测时不要只看平均退化率，要报告有限样本认证的风险上界；对于固定内存预算方法，认证可能显示需要多保留 5-10 个百分点的 KV cache，帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的，可与任意 KV 淘汰算法结合，适合在现有推理加速框架上低成本包装为上线前认证流程。
Transformer KV Cache 的张量分解：谱结构与格式对比
🧭 LLM KV cache 张量分解压缩
Universität Trier
对 KV cache 四阶张量做谱测量，在 2-5× 压缩下 Tucker 重构误差最低，head/layer 近满秩不可压
📌 工作参考价值（4 点）
- 工业 LLM serving 做 KV cache 压缩时，可优先用 2D/SVD 压 key；value 需保留 4 维结构，用 Tucker 且不压 head/layer 轴，同存储下误差更低。
- 压缩预算不要均匀给四个轴：head 和 layer 近满秩，强行压缩收益极低且伤精度；预算应集中在 token 与 feature 轴。
- RoPE 后 key 的可压缩性下降 41%-64%，若做 prefill 缓存或分阶段压缩，尽量在 RoPE 前对 key 做低秩/缓存，或对 post-RoPE key 分配更高 rank。
- value 的错误地板比 key 高，在电商/Agent 长上下文场景做混合 KV cache 管理时，value 应给更高存储比例或更保守压缩。
HySparse2：两级 KV 共享的混合稀疏注意力
🧭 长上下文高效稀疏注意力与 KV 共享 ★ 深度解读
Xiaomi LLM-Core
通过两级 KV 共享使 prefill 只跑一半模型，同时提升长上下文检索并降低 KV 缓存
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 场景，工具返回长文本、多轮会话累积导致 prefill 成为主要延迟；可借鉴 self-decoder/cross-decoder 分离：prefill 只执行 self-decoder（约半模型），cross-decoder 的 full-attention KV 由 self-decoder hidden states 投影生成。在 prefill-decode disaggregation 下，prefill 节点只需部署一半权重，显存和算力直接减半。
- 稀疏注意力选择粒度很关键：对多轮 Agent 轨迹、检索历史，token-level top-k 明显优于 block-level（RULER-v2 +6.57、2-needle MRCR-v2 +8.14、GraphWalks +5.55）。如果业务正在用 block sparse 做长上下文召回或会话压缩，且 token-level kernel 可用，应尽早切换；至少在检索关键层保留 token-level。
- 强制最近窗口进入稀疏选择，可以替代单独的 SWA 分支：省掉额外投影参数、局部 KV cache 和级联依赖，使 early exit prefill 成为可能。对需要保留最近会话/商品浏览状态的推荐 Agent，固定保留最近 128 token 是低成本且有效的局部建模。
- KV Bridging 只在 full-attention 层间连接，保留独立投影但共享 source hidden，可以在几乎不损失质量的前提下压缩 KV cache（1M 时 2.69GB vs 6.72GB/12.09GB）。对超长上下文电商 Agent，可考虑用跨层 KV 共享替代或叠加量化压缩。
按需注意力：语言模型知道何时回忆
🧭 长上下文高效推理 · 按需注意力
Southern University of Science and Technology · Peking University · Peng Cheng Laboratory
训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取
📌 工作参考价值（4 点）
- 在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
- 借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
- 工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
- 若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。
长生命周期游戏 NPC 的增量记忆维护
🧭 LLM 推理 · 增量记忆维护
University of Bern
提出 LLM 运行时增量更新记忆的机制，避免重算长前缀并保持语义绑定
📌 工作参考价值（4 点）
- 在电商对话 Agent 或推荐助手中，当用户画像、订单状态等关键信息发生增量变化时，可以采用类似“移除被取代 KV 条目 + 在真实序列尾部追加更新”的策略，避免每次重新编码全部历史，显著降低本地部署的推理延迟和计算成本。
- 记忆更新应放在序列尾部而非原位覆盖：实验表明 true-tail updates 能避免 slot-preserving 方法出现的“双减法”类状态错误，这对需要精确状态追踪的电商规则系统（如库存、优惠券核销）尤其重要。
- 评估记忆维护系统时不能只看注意力分布相似度：论文发现注意力接近性无法解释语义差异，因此电商 Agent 的长期记忆评估应以下游任务准确率（如订单修改后的库存判断）为准。
- 混合循环-注意力架构（如 Qwen）在长上下文场景中能平衡效率与效果，可作为需要长期用户上下文记忆的生成式推荐 Agent 的候选基座。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
py-kvcache：vLLM 外部 KV 缓存的 NVMe 性能表征
🧭 LLM 推理 · KV cache 卸载优化
Vrije Universiteit Amsterdam · IBM Research Zurich
刻画外部 KV 缓存加载与重算的权衡，提出异步直接 I/O、有界 staging、调度感知预取，80k tokens 磁盘加载比 LMCache 快 2 倍
📌 工作参考价值（3 点）
- 在长上下文 LLM 服务（如 Agent 多步推理、长 prompt 推荐解释）中开启外部 KV cache 前，先用生产 trace 做 break-even 分析：H100 等强 GPU 上短前缀重算可能比磁盘加载更快，外部缓存应作为按场景开启的准入策略，而非全局默认。
- 缓存层设计要关注传输粒度与调度时序，而非只盯 NVMe 带宽：连续块传输 + 异步直接 I/O 绕过页缓存，并限制共享 staging buffer，避免挤占 GPU/CPU 内存；请求排队时就启动预读，让磁盘 I/O 与 prefill 计算重叠，可显著降低 TTFT。
- 对多轮对话和前缀链不规则场景，py-kvcache 的调度感知预加载有明确收益；若业务里 prompt 前缀复用度高（如推荐 agent 的固定 system prompt、RAG 检索后的公共上下文），可以在 CPU/NVMe 层缓存 KV，但需评估前缀长度分布和 GPU 算力后决定。
超越 KV Cache：混合语言模型跨模型循环记忆迁移（4B→9B 无前缀重放）
🧭 LLM 跨模型记忆状态迁移
首次展示不同尺寸混合语言模型间直接迁移 Gated DeltaNet 持久循环状态，无需目标模型重新读取上下文，显著降低续写损失
📌 工作参考价值（3 点）
- 在长上下文 LLM 推理服务中，可从 4B 草稿模型迁移注意力 KV 与循环状态到 9B 主模型，避免重算历史前缀，显著降低首 token 延迟；电商 Agent 长会话切换模型时可借鉴「直连复用 recurrent/conv state + 轻量 rank-4 修正」作为状态交接基线，不一定需要训练复杂映射。
- 对生成式推荐/Agent 的长会话记忆：混合模型（full-attention + GDN）的持久状态跨模型直接复用其坐标比学习映射更有效，提示模型家族内 hidden state 有一定兼容性，升级模型版本时可先尝试直接复制状态，再用极少量参数微调纠正。
- 若业务上需做模型蒸馏或小模型生成草稿、大模型验证，可复用该思想：把草稿模型的 KV 和 recurrent state 迁移给大模型，省去大模型重新编码 prompt；rank-4 修正成本极低（约 43 万参数），适合线上快速适配。
BeaconKV：信标查询引导的 KV 缓存压缩加速大推理模型推理
🧭 LLM 推理加速 · KV cache 压缩
Hanyang University · Sungkyunkwan University
发现长程推理中查询聚类可预测重访 KV，提出训练无关信标查询压缩 KV 缓存，内存降5.8倍且准确率几乎无损
📌 工作参考价值（3 点）
- 在自研/部署 LRM（如 DeepSeek-R1、Qwen3）的推理服务中，KV cache 内存常成为瓶颈；BeaconKV 训练无关，可直接插入现有推理框架（如 vLLM、SGLang），无需微调，适合电商/广告场景的复杂导购 Agent、自动策略生成等长 CoT 任务。
- 借鉴“thought revisiting”洞察：模型长推理时会重访早期计划/关键信息，若在 Agent 记忆或上下文选择中使用简单的 recent-biased 策略可能丢失重要远距离信息；建议对历史 query 做聚类，保留每个聚类的代表性 query，用于判断哪些 KV 应保留。
- 工程实现上，可维护少量 beacon queries（每个聚类代表）而非完整 query 历史，预测后续 token 是否会重访，从而动态裁剪 KV cache；该方法已在四个开源 LRM 上验证，内存减少最高5.8×、吞吐提升4.3×，可先在离线长推理任务上 A/B 测试效果。
VestigeKV：NoPE-MLA KV 缓存利用退化分支自身携带淘汰信号
🧭 LLM 推理优化 · KV Cache 压缩
Yotta Labs
利用 NoPE MLA 缓存中 64 维退化分支作为查询无关显著性信号，实现无训练 KV 缓存分层压缩
📌 工作参考价值（4 点）
- 若线上 Agent/LLM 服务采用 NoPE MLA 架构（如 Kimi 系列），可直接在长上下文场景（用户长期行为序列、商品知识库、会话历史）部署 VestigeKV：以 decoupled branch 的 64 维子空间做 top-m 分层，将非 top 行归档且 GPU 常驻，避免删除导致不可逆信息丢失；无需修改权重或 kernel，工程上可作为 cache policy 无损接入。
- 观察注意力淘汰（H2O/SnapKV）在 NoPE MLA 上失效（needle retrieval 0.00–0.33），提醒在生成式推荐/Agent 长上下文服务中若目标模型为 NoPE，不要沿用 RoPE 时代的 KV 淘汰策略；先验证查询无关显著性信号是否存在。
- 分层缓存 + 可触发归档的思路可迁移到推荐系统特征缓存：将高频/高显著性特征放快速层，其余 bit-exact 放低成本 GPU/CPU 层，需要时按查询 key 精确取回，避免近似压缩带来的检索精度损失。
- 对多轮 Agent 对话或用户行为序列建模，利用缓存中已有分支的统计分布（top-1 目标 token 占比）判断可压缩性，可在推理前离线冻结阈值，避免在线调参。
Gated DeltaNet 为何能承受 4-bit 量化：混合 27B LLM 循环部分的 NVFP4 W4A4
🧭 混合 LLM 循环层 4-bit 量化推理优化
Minima AI
对 Qwen3.8-27B 全部 496 个线性层（含 GDN）做 NVFP4 W4A4，精度持平 BF16 且更小更快
📌 工作参考价值（4 点）
- 混合架构中 linear-attention/循环层（Gated DeltaNet）可以激进 W4A4，不必保留 8/16-bit；尤其对 decay/write-strength 门控投影，softplus/exponential 和 sigmoid 会压缩 GEMM 误差，量化敏感度低。
- 部署 NVFP4 时若按模块逐层校准，需注意 kernel fusion 后的 global scale 不匹配问题：应统一重算或修正 fused GEMM 的 scale，否则精度会显著下降。
- 长上下文场景可以把 KV cache 用 FP8 存并校准 scale，几乎无性能损失，能恢复约 83% 的长上下文 KV 惩罚；这是低成本优化长文本推理的有效手段。
- 16-element block scaling 能有效控制残差流中的极端 outlier，对电商/Agent 场景下需要低比特推理的混合 LLM 是一条可复用的工程路径。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
KV Cache 淘汰的概率视角：期望估计与解码期校正
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
University of California, Los Angeles
将 KV cache 淘汰形式化为期望估计问题，提出可纠偏的概率淘汰与解码期校正
📌 工作参考价值（4 点）
- 部署长上下文 LLM 服务（Agent 记忆、商品描述、用户行为序列）时，现有 H2O/SnapKV 等确定式 top-k 淘汰在特定任务上可能灾难性失效；改用论文的 probabilistic eviction + decode-time correction 能提升多任务鲁棒性，适合同一模型同时服务检索、问答、推荐解释等场景。
- 工程迁移成本低：可把已有 score-based 淘汰策略改造成 proposal 分布（如 πH2O=normalize H2O scores），按 head/group 采样并记录 counts，解码时用 Algorithm 1 的自归一化重要性采样校正，改动集中在 attention 计算，无需重训或改模型。
- 温度缩放 τ 是简单可用的 bias-variance 旋钮：高压缩、低采样数时增大 τ 抑制方差，低压缩时保持 τ=1 降低偏差；可按业务 latency/quality 目标做 per-head 或全局 budget 调优。
- 全局压缩率分配可利用论文的采样数与 coupon collector 关系做预算分配，让不同层/head 自适应获得不同压缩率；GQA 模型需用 group 内 mixture proposal 保持支持集一致。
前缀滑动：高效测试时扩展
🧭 长程推理 · 前缀滑动窗口 ★ 深度解读
Stanford University · University of California, Santa Barbara · Prime Intellect · University of Washington
保留前缀与最近滑动窗口、丢弃中间推理 token，实现恒定成本的长程推理，无训练 3 倍加速
📌 工作参考价值（4 点）
- 长程 Agent/工具调用（多跳搜索、自动比价、复杂排障）：把 system prompt、工具定义、任务描述固定为 prefix，中间推理只保留最近 2048-4096 的 sliding window；能显著降低 KV cache 与时延，且基本不掉点。
- 用 GRPO/在线 RL 训长 reasoning/Agent 模型时，直接复用 truncated backpropagation：只把最后 4×window tokens 传给 trainer，loss 只算最后 window；可避开 OOM，KL 偏差小，适合异步 RL 长 rollout。
- 工程上避免用 last k / summary 做长上下文压缩：会重复处理 token 或引入额外摘要 step，导致显存锯齿与延迟尖峰；Prefix Sliding 的 custom kernel 用 tile skipping 能保持吞吐稳定，接近 vanilla sliding window。
- 注意适用边界：若 Agent 要读长文档、长 API 返回或长代码补全（类似 LiveCodeBench），窗口建议至少 16K，或把关键证据动态追加到 prefix；短文本任务（query 改写、短推荐理由）加速有限。
TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。
面向混合 RL 推理负载的 KV 缓存感知准入调度
🧭 LLM RL 混合负载推理调度优化 ★ 深度解读
Nanjing University · StepFun
路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。
📌 工作参考价值（4 点）
- 在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
- KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
- 自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
- 实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。
思想级束搜索用于推理
🧭 test-time 推理算力分配 · 思想级束搜索 ★ 深度解读
Princeton University · MIT CSAIL · Meta AI
将 test-time 推理建模为硬件约束下的算力分配问题，用固定容量池的 thought-level beam search 动态剪枝并分支高质量前缀
📌 工作参考价值（4 点）
- 对 Agent 多步规划/多候选生成：把并行采样改为固定容量池的 beam search，用轻量 scorer（如 hidden-state probe）做中间过滤，周期性淘汰低分候选并从高分前缀继续展开，可显著降低 token 消耗并提高正确路径命中率。
- 长上下文生成（如商品文案、多轮推荐对话）中，利用 prefix caching 共享 KV cache，对不同分支只算增量 token，节省显存和推理成本；同时解耦逻辑搜索树与物理调度，避免内存压力下的贪心退化。
- 对 reasoning/planning 评估器：设置 warmup 阈值，延迟评分直到步骤充分展开，减少早期噪声误判；用 score-weighted majority vote 聚合答案，比等权投票更能利用置信度信号。
- 工程实现：保持活跃请求数恒定（zero-sum allocation）并让调度器与搜索逻辑解耦，在 vLLM 等 serving 引擎上可达高硬件利用率，减少排队延迟。
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
InferScale：GPU 原生的 KV 注入式个性化 LLM 推理系统
🧭 LLM 推理优化 · KV 缓存复用 ★ 深度解读
Northeastern University
通过 GPU 驻留的记忆 KV 缓存与 Chunked RoPE，使 TTFT 几乎不随检索上下文增长，吞吐提升 3.7–4.5×
📌 工作参考价值（4 点）
- 对电商 / 搜索推荐场景中频繁复用的用户画像、历史行为摘要等静态上下文，可离线编码为 KV 缓存，在线直接注入，避免每次请求都重新预填充，大幅降低首 token 延迟。
- Chunked RoPE 方法允许记忆块以任意位置组装注入，支持动态检索拼装，适合排序或对话中按查询相关性动态选择用户记忆的场景。
- 上下文窗口编码可在离线阶段保留记忆块之间的局部依赖，还原近乎联合预填充的准确性，同时保持在线零额外开销；在推荐理由生成或对话式推荐中可提升事实一致性。
- 实现采用 vLLM 的 KV-connector 接口，无需修改推理引擎或模型微调，易于在现有 LLM 服务栈中集成，降低落地成本。
窗口化 MTP：消除百万级上下文中的全量草稿 KV 开销
🧭 推测解码 · 长上下文 KV 优化
NVIDIA
对推测解码草稿头施加窗口注意力，训练免费、无损地将长上下文草稿 KV 读取量降低 99%，推理加速 28–44%
📌 工作参考价值（4 点）
- 在长上下文生成式推荐/Agent 中降低延迟：当使用 LLM 生成推荐理由或进行多步推理时，若启用 MTP 推测解码，可直接将草稿头的注意力替换为窗口注意力，保留验证阶段全注意力，实现训练免费、无损的推理加速，尤其适合百万 token 级别的用户行为序列。
- 工程实现简单，即插即用：无需重新训练或调整模型结构，仅需在草稿注意力中添加滑动窗口和注意力槽（StreamingLLM 风格），可立即部署到现有 SGLang 等框架。
- 释放 GPU 显存用于更大批处理：窗口化草稿头可丢弃约 99% 的草稿 KV 缓存（实测占总量 7.7–11%），使用紧凑环形缓冲区回收，不影响接受准确率，支持更高的吞吐。
- 适用于混合注意力目标模型：当主模型使用混合线性注意力（如 Mamba2-hybrid）时，窗口化草稿头可避免其全注意力读取代价成为瓶颈，保持整体加速效果随上下文变长而放大。
PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理
🧭 MoE 推理优化 · 动态量化
University of Illinois Urbana-Champaign
通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐
📌 工作参考价值（4 点）
- 在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
- 系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
- 当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
- 实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。
LLM KV缓存近无损压缩：联合Tucker分解与JL残差分配
🧭 LLM推理 · KV缓存压缩
将KV缓存视为三阶张量，用部分Tucker分解+JL旋转低比特残差联合优化，实现近无损2-3倍压缩
📌 工作参考价值（4 点）
- 对于部署LLM做推荐解释、对话Agent的场景，可直接应用JoLT将KV缓存压缩2-3倍，节省显存、提升批处理大小与吞吐，且保持输出质量几乎不变。
- Tucker分解+JL残差的联合优化思路（拉格朗日对偶分配秩与比特预算）可迁移到电商搜索推荐中其它高维张量压缩任务，如用户-商品-时间嵌入压缩。
- FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考，适用于需要动态调整压缩率的推荐模型部署。
- 该方法在分组查询注意力和多头注意力结构上均有效，证明其对主流LLM架构通用，建议在实际Agent/生成式推荐系统中优先尝试。
SeKV：分辨率自适应的分层语义记忆 KV 缓存
🧭 长上下文推理 · KV 缓存压缩
University of British Columbia · Microsoft Research
用熵引导语义分段 + GPU-CPU 分层存储 + 按需 zoom-in 实现长上下文 KV 缓存压缩，避免丢弃信息
📌 工作参考价值（4 点）
- 长序列建模内存优化：电商推荐中用户行为序列可能很长，可借鉴语义分组与 GPU-CPU 分层存储思路，将高频访问的抽象摘要保留在 GPU，细节离线存储在 CPU，按需加载，减少线上显存压力。
- 按需检索历史细节：在 Agent 长期记忆或个性化对话中，当需要回溯具体 token 级信息时，zoom-in 机制可选择性展开相关片段，避免全量解压，适合精准检索。
- 低成本适配方案：冻结主模型，仅训练少量参数（0.05%）即可实现长上下文压缩，对业务快速实验友好，可将该范式用于微调推荐模型的长期依赖建模。
- 熵引导分段：利用注意力熵判断语义边界，对用户行为序列的时间切分或会话分割有启发，可尝试用于动态构建更具语义一致性的行为子序列。
Kamera：统一位置不变的多模态KV缓存实现训练免费复用
🧭 多模态Agent的KV缓存位置不变复用
Erlangen National High Performance Computing Center (NHR@FAU)
通过低秩条件补丁恢复跨块绑定，使多模态KV缓存可任意位置复用，消除重复编码
📌 工作参考价值（4 点）
- 在多轮Agent对话或滑动窗口推理中，可缓存商品图片、UI截图等视觉块的KV，随位置变化通过旋转和补丁恢复，避免重编码，显著降低电商直播、视频推荐场景的推理成本。
- 低秩条件补丁训练免费、即插即用，能以极小存储代价恢复被丢弃的跨块上下文，保持多跳推理准确率，适合需要长程记忆的推荐Agent。
- 支持重排、滑动窗口生存和回忆三种操作，工程实现简单，可直接集成到现有推理框架，利用RoPE重旋转和单一补丁即实现任意位置复用。
- 在视觉冗余严重的视频流中效果最突出，正对多模态商品介绍、广告片反复分析等高计算场景，可大幅减少重计算预算。
面向上下文密集型智能体的4位KV缓存压缩方案
🧭 Agent推理缓存压缩优化
Advanced Micro Devices · University of California, Los Angeles · Purdue University
针对多轮Agent场景设计4位KV缓存压缩，通过非对称K/V处理、Walsh-Hadamard旋转及AMD GPU优化，大幅降低延迟并提升吞吐
📌 工作参考价值（4 点）
- Agent/多轮对话推理优化：长上下文智能体（如购物助手、搜索Agent）的KV缓存可压缩至4位，在缓存压力下TTFT降低3.47倍，吞吐提升63%，可直接用于线上服务降本提速。
- 非对称K/V量化策略：对Key应用Walsh-Hadamard旋转等保精度措施，Value可更激进的量化，这一设计可直接移植到推荐模型中Transformer结构的KV缓存压缩。
- 硬件适配与部署：利用FP8查询+FP4 KV张量的近似路径，以及CDNA4的scaled-MFMA指令，为在特定GPU上最大化吞吐提供工程范例，可参考其流水线设计。
- 多轮负载评估框架：论文强调联合测量任务质量、缓存驻留和吞吐，电商Agent在评估压缩方案时可借鉴这种多维度基准测试。
面向LLM-Agent工作流中并行分支的直接隐空间合成
🧭 Multi-Agent 并行合成 · KV cache 复用 ★ 深度解读
Georgia Institute of Technology · Meta
让合成器直接消费并行Worker的KV cache，通过两阶段训练和cache映射实现高效高质量的并行分支汇总
📌 工作参考价值（4 点）
- 用KV cache替代文本串联进行Agent间通信：在并行子Agent完成推理后，直接复用其KV cache，避免重新编码文本前缀，大幅降低TTFT。对电商客服、多工具调用等并行任务可显著提升响应速度。
- 两阶段训练策略值得借鉴：先通过大规模并行上下文对话数据做通用适应（Track 1），再通过蒸馏文本合成轨迹获得推理能力（Track 2），最后合并checkpoint而非顺序微调，能避免遗忘并平衡泛化与推理。这在需要同时处理简单汇总和复杂判断的推荐/问答系统中可复用。
- 可学习的Cache Mapper + LoRA组合：使用MLP根据分支数、长度生成仿射校准系数，配合LoRA适配，让模型适应非顺序的cache输入。工程上成本低，可作为即插即用模块接入现有的并行Multi-Agent流程。
- 轨迹信息选择对效率敏感：实验表明只传worker的final output能实现最佳准确率-延迟折衷，传完整轨迹虽准确率高但开销大。在电商推荐Agent中，可优先压缩子Agent输出为简洁摘要再合成，避免完整交互历史的重传。
仅索引一次：跨层稀疏注意力与共享路由
🧭 长上下文推理 · 稀疏注意力架构
Microsoft Research · Tsinghua University
在 KV 共享架构上复用路由索引，跨层共享 token 级 top-k 选择，以极低开销实现高精度稀疏注意力，大幅提升长上下文推理效率。
📌 工作参考价值（4 点）
- 长上下文推理效率优化：在电商搜索/推荐 Agent 中，需要处理大量历史对话或商品描述时，可借鉴 CLSA 的共享路由思路——使用 YOCO 类架构共享 KV 缓存，并让不同层复用相同的 top-k 路由索引，极大降低 token 稀疏注意力的路由开销，实现接近 block 稀疏的速度却能保持 token 级精度。
- 工程实现 trick：对于已使用 YOCO 或类似 KV 共享的 LLM 服务，只需额外实现一个跨层复用的 indexer，预填充时计算一次 token 级 top-k，解码时各层直接读取该索引进行稀疏注意力，几乎不增加额外成本，即可将长上下文解码吞吐提升数倍。
- Agent 多轮交互场景：当 Agent 需要在长多轮对话中维护完整上下文并频繁解码时，CLSA 能将 KV 缓存存储大幅减少（因子为数倍），并保持解码速度，同时质量几乎无损，适合部署在资源受限的在线服务中。
- 生成式推荐中的长序列生成：若用 LLM 生成个性化推荐理由或连贯的 item 序列，CLSA 可加速长序列的自回归解码，降低延迟，尤其适合对实时性要求高的推荐场景。
Vortex：面向AI Agent的高效可编程稀疏注意力服务系统
🧭 稀疏注意力服务系统 · AI Agent 自动化研究 ★ 深度解读
Carnegie Mellon University · Rice University · National University of Singapore
一个将稀疏注意力算法表达、部署与评估深度融合到LLM服务框架中的系统，使AI Agent可自动生成并迭代优化稀疏注意力，实现高达3.46倍吞吐提升且保持精度。
📌 工作参考价值（4 点）
- 可编程的稀疏注意力抽象（vFlow）：通过两阶段（缓存预处理与查询索引）的简单编程模型，快速实现各种动态稀疏模式，避免大量重写底层算子的工程开销，可直接借鉴到推荐模型中对长序列注意力的定制化改造。
- 兼容现有服务基础设施的vTensor抽象：原生支持分页KV cache、prefix caching等，确保理论加速转化为端到端吞吐提升，这种“不破坏现有栈”的设计思路可迁移到推荐系统大模型推理优化中，减少与生产环境的脱节。
- AI Agent 驱动的算法自动搜索与迭代：论文展示了AI代理利用Vortex一次性生成多样性稀疏算法并在长周期自主优化，形成精度-吞吐 Pareto 前沿，此类结合系统快速反馈的自动化调优流水线可应用于推荐模型的超参数搜索或结构优化。
- 随机化 radix top-k 的精度-速度权衡：通过随机早停降低 top-k 计算开销，可应用于推荐系统中高效召回或注意力选择阶段的 top-k 操作，在轻微精度损失下换取显著加速。
大规模文档集合的模块化KV缓存训练框架
🧭 文档压缩·模块化KV缓存与检索增强生成 ★ 深度解读
Amazon AGI
提出CAS框架，通过动态混合训练及GPU/存储交换，实现数百个per-document cartridge的联合训练，消除多缓存混合的性能塌陷，结合检索较文本RAG节省3-4倍token。
📌 工作参考价值（4 点）
- 可组合的KV缓存训练范式：在需要为大量静态文档（商品政策、FAQ、医典）构建可重用缓存的场景，直接采纳混合可见性训练（P<sub>iso</sub>=0.75，每样例以一定概率加入其他文档的cartridge作为干扰），可完全避免多缓存拼接时的性能暴跌（从26%回至78%），能直接复用到电商长文档问答的缓存构建中。
- GPU内存有限的规模化训练：预算管理器将KV缓存池轮换（每R步交换φ比例）并优先训练次数少的文档，配合FP32优化器与BF16权重、优化器状态卸载至NVMe，可在单GPU上训练数百个cartridge。对需要为海量商品文描或搜索结果页生成压缩预填缓存的场景极为关键，省去反复prefill的成本。
- 自学习数据合成的省钱技巧：将问题生成与回答模型解耦（用更大的MQ生成多样问题），一次API调用生成20个问题，并将文档采样权重设为与该文档长度成正比，可提升合成数据对长文档事实的覆盖，同时降低约20倍合成成本。这对需要自建训练语料的推荐/Agent项目同样适用。
- 混合RAG与压缩缓存的推理策略：Cartridge RAG用检索选出相关文档的压缩缓存代替原始文本块，在LongHealth上以3.7倍更少prompt tokens达到同等精度。对于电商搜索结果总结或客服知识库问答，可大幅减少输入长度、加速生成，同时保持片段级检索的准确性。在信息高度密集的表格型内容上需谨慎控制激活的cartridge数量，否则性能下降，这一点对金融/库存类文档压缩有直接启示。
面向推理模型的价值感知随机 KV 缓存淘汰方法
🧭 LLM 高效推理 · KV 缓存淘汰
University of Southern California · University of Chicago
发现大值状态淘汰导致灾难性重复并利用随机性提升多样性，提出训练无关的 VaSE 方法，4 倍压缩下准确率优于 SOTA
📌 工作参考价值（4 点）
- 在电商/Agent 系统中部署长链推理模型（如复杂商品推荐解释）时，可直接引入 VaSE 降低显存开销，同时避免精度下降。
- 价值保护策略：任何 KV 缓存淘汰方案均可增加按 value 向量范数排序的前 k 个 token 保护步骤，防止高幅值 token 被误删导致生成重复循环。
- 随机化淘汰：在淘汰决策中注入高斯噪声（如基于噪声后的重要性分数排序），可提升缓存多样性，适用于 Agent 多轮对话或推荐理由生成，减少输出退化。
- 与 FlashAttention2 兼容，可实现静态显存分配，减少 OOM 风险，适合长期运行的在线推理服务。
AdaState: 用自适应锚点替代静态首帧以提升流式视频生成动态性
🧭 流式视频生成 · 自适应 KV 缓存锚点
Virginia Tech
将自回归视频扩散模型中的静态首帧锚点替换为与内容同步演化的自适应隐状态，打破场景僵化并显著增强运动与镜头变化
📌 工作参考价值（4 点）
- 生成式序列的自适应锚点设计：在生成式推荐（如 Semantic ID 逐 token 生成）或 query 改写链中，借鉴用可演化的隐状态取代固定首 token 锚点，避免早期 token 过度主导后续生成，可提升长期推荐的多样性与动态适应性。
- KV cache 作为状态载体：将 KV 缓存视作循环的隐状态，通过注意力机制实现状态转移，无需额外模块；可在 Agent 的对话记忆或工具调用链缓存中利用该思路，在保持效率的同时实现自适应上下文演化。
- 相对时间与绝对位置的解耦：将时间编码与绝对步数解耦，使生成过程在任意长度上保持一致的位置结构，可应用于无限长序列的推荐生成或滚动式创意文案生成，避免 positional encoding 漂移导致的性能退化。
- 隐状态去噪但不渲染的机制：在电商场景中，可为推荐解释/创意文本生成引入一个“幕后状态”来追踪长期目标，与可见输出同步去噪但不出现在最终文本中，帮助保持主题连贯性而不压制内容变化。
用指数衰减记忆增强注意力提升查询感知KV稀疏性
🧭 查询感知KV稀疏 · 指数衰减记忆增强
EPFL · CLAIRE
利用RAT+的指数衰减记忆模块，一致提升Quest、MoBA、SnapKV等查询感知稀疏方法在长上下文任务上的准确性。
📌 工作参考价值（4 点）
- 若电商或Agent系统中部署长上下文LLM（如处理长对话或大量商品描述），可借鉴引入指数衰减记忆模块，继续少量预训练后，配合现有稀疏方法（SnapKV、Quest）大幅减少KV cache内存占用，几乎无损精度。
- 只需追加10B tokens的持续预训练即可让标准模型适应记忆模块，实现即插即用，对资源有限的业务微调较友好。
- 论文提出的两个假设（记忆使注意力头更专注、帮助模型更早定位关键token）可指导设计更适合稀疏推理的架构，例如在注意力头中融合指数衰减偏置。
- 在工程实现上，该记忆模块以递归方式维护KV状态，可与主流稀疏推理框架整合，适合需要高吞吐、低延迟的长上下文服务。
FashionChameleon：实时交互式人衣视频定制
🧭 交互式服装视频生成
Xiamen University · Alibaba Group
利用上下文学习和KV缓存调度实现单GPU 23.8FPS的实时流式服装切换视频生成
📌 工作参考价值（4 点）
- 实时换装交互：KV cache重调度（服装KV刷新、历史KV撤回、参考KV解缠）支持生成中途切换服装，可应用于电商直播换装、虚拟试衣间，无需重新生成整个视频。
- 单服装数据训练：通过故意制造参考图与服装图不匹配的Context Learning，仅需单服装视频即可学习运动一致性，降低多服装数据采集成本，适用于商品视频生成的快速冷启动。
- 长视频外推一致性：流式蒸馏中使用梯度重加权分布匹配，可借鉴于生成式推荐长序列行为建模，提升自回归生成稳定性。
- 实时性工程参考：单GPU 23.8FPS，比现有方法快30-180倍，为在线部署交互式生成提供了可行性设计思路，如商品流中动态换装展示。
TabPFN-3: 大规模表格基础模型的速度与性能突破
🧭 表格基础模型规模化与推理加速
Prior Labs
基于合成数据预训练的表格基础模型，通过测试时计算扩展和工程优化，在多种表格任务上超越调优集成方法，速度提升20倍
📌 工作参考价值（4 点）
- 合成数据预训练范式可迁移至电商推荐特征工程：不依赖真实标签，用先验生成大量多样化表格数据训练基础模型，冷启动场景潜力大。
- 测试时计算扩展（Thinking模式）思路可借鉴至推荐模型推理阶段：对复杂样本动态分配更多前向次数或集成，以可控计算成本换取显著效果提升，适合高价值决策场景。
- 工程优化直接复用：通过缩减KV缓存和row-chunking支持百万行数据单卡推断，可应对推荐系统海量用户-物品交互数据。
- SHAP值计算加速120倍：若业务需用SHAP进行模型可解释性分析，可参考其KV缓存复用策略，大幅降低线上或离线归因耗时。